Automatikus írásjel-visszaállítás és Nagybetűsítés statikus korpuszon transzformer modellen alapuló neurális gépi fordítással

Cikkemben egy írásjelvisszaállító és nagybetűsítő programot mutatok be, amelyet a jelenkori „state-of-the-art” transzformer modellen alapuló neurális gépi fordító rendszerrel tanítottam be. A mobil eszközökön történő üzenetírás elterjedésével és a minél gyorsabb szövegbevitelre való törekvéssel tömeges jelenséggé vált a hibás szövegek írása. Ennek egyik következménye, hogy a interneten elérhető – főleg a szociális médiából származó – korpuszok egy része hibás. Többek között írásjelek hiányoznak, vagy végig kisbetűvel írnak. Az így létrejött korpuszok nem alkalmasak különböző kutatásokhoz, csak tisztítás után. A tisztítás folyamata időigényes, ezért igény van különböző korpusztisztító módszerekre. Az általam létrehozott rendszer, annak ellenére, hogy semmilyen morfológiai és szintaktikai elemzőt nem használ, közel 81%-os f-mértékkel tudja helyesen visszaállítani az alapírásjeleket és elvégezni a nagybetűsítést magyar nyelv esetében

Többnyelvű modellek és PEGASUS finomhangolása magyar nyelvű absztraktív összefoglalás feladatára

Napjaink egyik legfontosabb és legkutatottabb nyelvtechnológiai területe az absztraktív szövegösszefoglaló készítése. Mind a kutatásban, mind az iparban egyre nagyobb igény keletkezik a feladat megoldására. Az elmúlt években magyar nyelven is elindultak a kutatások ezen a területen, voltak különböző kísérletek magyar és többnyelvű előtanított neurális nyelvmodellek finomhangolásával. Jelen kutatásomban elsősorban a többnyelvű modellek finomhangolására tettem a hangsúlyt. Arra kerestem a választ, hogy a más nyelvekre, akár feladatokra előtanított modellek hogyan teljesítenek magyar nyelvre, illetve azok a többnyelvű modellek, amelyek angol vagy más nyelven a legjobb eredményt érték el absztraktív összefoglalás területén, adaptálhatóak-e magyar nyelvre. A kísérletem kiterjedt a manapság rendkívül népszerű mT5-re, a magyar nyelvi előtudással nem rendelkező mBART modellre és az M2M100 gépi fordítás feladatára előtanított 100 nyelvű neurális modellre. Az utóbbi két modell esetén a kérdés, hogy egy modell, amely nem rendelkezik magyar tudással a finomhangolás során meg tud-e tanulni magyarul megoldani egy feladatot, illetve, bár rendelkezik magyar tudással, de gépi fordításra tanított modell módosítható-e absztraktív összefoglaló generálás feladatára. Végül, de nem utolsó sorban, az angol nyelvre egyik legjobban teljesítő PEGASUS modellt finomhangoltam magyar absztraktív összefoglaló feladatra. Ezzel a kutatással kísérletet tettem egy angol nyelvű modellt magyar nyelvre adaptálni és arra kerestem a választ, hogy vajon ez lehetséges-e és van-e értelme. Eredményeim azt mutatják, hogy mindegyik modell finomhangolható és adaptálható magyar nyelvre, sőt az mT5 és az mBART esetében sikerült felülmúlni az eddigi legjobban teljesítő magyar BART modellt

Inzulinrezisztencia betegség jelenségének felismerése és osztályozása orvosi dokumentumokban

A jelen cikkben egy kutatás-fejlesztés projekt első fázisának részleteit mutatjuk be, amelynek keretében az inzulinrezisztencia betegség kialakulásának veszélyét szeretnénk előre jelezni a nyelvtechnológia eszközeivel. A kutatásunk kétmillió magyar nyelvű kórházi kórlap feldolgozásával történt a modern neurális nyelvtechnológia segítségével. A feladatot osztályozási feladatként értelmeztük, amelyben három különböző esetet különböztettünk meg: inzulinrezisztenciás betegek, nem inzulinrezisztenciás páciensek és gyanús esetek. A gyanús esetek közé azokat a pácienseket soroltuk, akik a kórlapjuk alapján nem inzulinrezisztenciások, de közben tudjuk, hogy azok. A feladat nehézsége, hogy a programunknak fel kell ismernie a gyanús eseteket úgy, hogy a kórlapon nem szerepel az inzulinrezisztencia betegség. A probléma ily módon egy háromosztályos klasszifikáció feladatként oldható meg. A kórlapok zajossága és félig strukturáltsága miatt, rendkívül nehéz belőle egységes releváns tulajdonság jegyeket kinyerni, ezért a probléma megoldására egyedül a modern nyelvi modellek jöhettek csak számításba, amelyek automatikusan nyerik ki a számukra relevánsnak számító nyelvi jegyeket. A kutatásunkban felhasználtunk egy statikus és egy környezetfüggő neurális nyelvi modellt. Az eredményeink alapján, a modelljeink közel 80%-os pontossággal tudta megbecsülni, hogy az adott kórlap a fent említett három kategóriából melyikbe tartozott. Az általunk létrehozott osztályozási modellekkel orvosi támogatást tudunk nyújtani, amelynek során a gép jelezni tudja azon eseteket, ahol, bár a beteg másféle kivizsgáláson vesz részt, a kórlap alapján az adott páciensnél felmerülhet az inzulinrezisztencia betegségének veszélye

"Az invazív medvék nem tolerálják a suzukis agressziót" : magyar GPT-2 kísérleti modell

A GPT-2 egy kizárólag dekóderrel rendelkező autoregresszív transzformer modell, amely elsősorban szöveggeneráló feladatokra alkalmas. A kutatásomban betanítottam egy kísérleti GPT-2 modellt magyar nyelvre, majd azt tovább finomhangoltam különböző nyelvtechnológiai feladatokra. A kísérleteimben az előtanított GPT-2 modellemet mondatszintű és tokenszintű szövegosztályozás, absztraktív szövegösszefoglaló generálás, hírgenerálás és versgenerálás feladatokra finomhangoltam. Az eredmények alapján a GPT-2 kevésbé teljesít jól szövegosztályozás feladatokra. Absztraktív szövegösszegzés feladatában versenyképes eredményeket ért el, azonban a szöveggenerálás eredményei még érdekesebbek. A GPT-2 modellemmel létrehoztam egy hír- és egy versgenerátort

BARTerezzünk! : messze, messze, messze a világtól, BART kísérleti modellek magyar nyelvre

A BART autoregresszív típusú modell, amely elsősorban szöveggenerálási feladatokra alkalmas. A kutatásomban különböző BART modelleket tanítottam magyar nyelvre és azokat finomhangoltam különböző szöveggenerálási feladatokra. A kísérleteimben BART base és large modelleket tanítottam magyar és angol-magyar nyelvekre. Az előtanított BART modelleket szövegosztályozás, absztraktív szövegösszefoglaló generálás, gépi fordítás és versgenerálás feladatokra finomhangoltam. Az eredmények alapján a BART kevésbé teljesít jól szövegosztályozás feladatára, de absztraktív szövegösszegzés feladatában „state of the art” eredményeket értem el. Érdekességként a kutatásom végén egy Petőfi versgenerátort mutatok be

Absztraktív összefoglalás arab nyelvre

Kutatásunkban arab nyelvre tanítunk különböző absztraktív összefoglaló modelleket. A jelen tanulmány a kutatásunk jelenlegi fázisát mutatja be. Arab nyelvre az absztraktív összefoglalás területén kevés kutatás történt, ezért korábbi kutatásunk során első feladatként saját adatot kellett gyűjteni. Adatgyűjtés után sikeresen finomhangoltunk különböző enkóder-dekóder architektúrájú transzformer modelleket. Kísérleteinkben kipróbáltuk a PreSumm és a többnyelvű mBART módszereket. A PreSumm módszerrel ezen a területen „state of the art” eredményt értünk el. Jelen tanulmány ezt a kutatási sorozatot folytatja. Kutatásunk során saját egynyelvű és többnyelvű BART modell tanításával kísérleteztünk, valamint az mT5 modellt próbáltuk arab összefoglaló generálásra finomhangolni. Kísérletünk során korlátozott mennyiségű adattal kísérleteztünk, célunk az volt, hogy megvizsgáljuk ezen módszerek alkalmazhatóságát. Kutatásunkkal ezért várakozásunknak megfelelően nem tudtuk felülmúlni a korábban elért legjobb eredményünket. Azonban így is versenyképes eredményeket tudtunk elérni, amelyek további kutatásoknak adnak teret, ez azonban nagyobb mennyiségű adat és infrastruktúra előfeltételt is megkövetel

Absztraktív összefoglaló PreSumm módszerrel

Kutatásunk során egy szöveges összefoglaló szoftvert készítettünk magyar nyelvre, többnyelvű és magyar BERT alapú modellek felhasználásával. Alapvetően kétfajta szöveg összefoglalási módszert különböztetünk meg egymástól, extraktív és absztraktív. Az extraktív összefoglalók csak olyan szavakat, kifejezéseket tartalmaznak, melyek megtalálhatóak az eredeti, összegezni kívánt szövegben is. Ez a módszer az eredeti szövegben található, a legfontosabb szavak kiemelésével készíti az összefoglalót. Az absztraktív összefoglalás sokkal inkább hasonlít egy ember által összefoglalt szövegre, megjelenhetnek benne olyan szavak is, melyeket az eredeti szöveg nem tartalmaz. Kutatásunk során absztraktív modelleket tanítottunk magyar nyelvre. A modellekhez többnyelvű és magyar egynyelvű BERT modelleket használtunk. Létrehoztunk egy demó alkalmazást is, amelynek segítségével, valós időben is használhatjuk az összefoglaló rendszerünket. Jelen kutatásunkban a PreSumm kódot alapul véve készítettük el az absztraktív összefoglaló demónkat